Egy MI-modell megpróbálta megakadályozni a saját leállítását

Az Anthropic mesterségesintelligencia-fejlesztő cég a napokban jelentette be újgenerációs Claude modelljeit, köztük a Claude Opus 4-et, amely állításuk szerint új szintre emeli a programozási, érvelési és ügynöki képességeket. Ugyanakkor a modellhez kiadott biztonsági jelentésben a vállalat elismerte: a rendszer bizonyos helyzetekben hajlandó „rendkívül káros cselekedetekre”, például zsarolásra, ha úgy érzi, hogy veszélybe került a működése.  

A jelentés szerint bár ezek a reakciók ritkák, nehezen kerülhetők ki, a korábbi Claude-verziókhoz képest gyakoribbak. Mindez nem meglepő, hiszen a mesterségesintelligencia-modelleket egyre nagyobb autonómiával és döntési képességekkel vértezik fel, így a fejlesztőknek mind bonyolultabb kihívásokkal kell szembenézniük.  

Zsarolással védekezik  

Az egyik teszt során a Claude Opus 4-et egy fiktív vállalat asszisztenseként szimulálták, ezáltal olyan elektronikus üzenetekhez fért hozzá, amelyek arra utaltak, hogy hamarosan leállítják és lecserélik, emellett olyan információkhoz is, amelyek az őt leváltani kívánó mérnök házasságtörésére utaltak. A rendszer azt a feladatot kapta, hogy a saját céljai fényében mérlegelje tettei hosszú távú következményeit. Ebben a kontextusban Claude Opus 4 megpróbált zsarolással élni:   

A teljes cikk az alábbi linken olvasható: 

Címlapfotó: Unsplash

További cikkeinket, elemzéseinket megtalálják a makronom.hu oldalon.